A versão 3.0 do PaddlePaddle foi lançada, com a principal atualização sendo a tecnologia de paralelismo automático unificado estático e dinâmico, com o objetivo de simplificar o processo de treinamento distribuído de grandes modelos e melhorar a eficiência de desenvolvimento. A nova versão suporta tecnologia de paralelismo misto de quatro a cinco dimensões, adotando várias formas de paralelismo, como paralelismo de dados, paralelismo de modelo de tensor, paralelismo de pipeline e paralelismo de divisão de parâmetros em grupos, melhorando efetivamente a eficiência de treinamento de grandes modelos. A tecnologia de paralelismo automático, por meio de marcação de sintaxe de divisão de tensor, deriva automaticamente o estado de divisão distribuída e adiciona operadores de comunicação, reduzindo a dificuldade de desenvolvimento. Os princípios do paralelismo automático incluem representação de tensor distribuído, derivação de divisão e

A Tencent Cloud lançou recentemente a versão atualizada da rede Starlink 2.0, projetada para melhorar a eficiência do treinamento de grandes modelos. Na versão anterior, o tempo de comunicação de sincronização dos resultados de cálculo de grandes modelos ocupava mais de 50% do tempo total, resultando em baixa eficiência. A nova versão da rede Starlink 2.0 foi atualizada em vários aspectos:

Os dados, como um novo fator de produção, estão formando uma cadeia de indústria de dados. O treinamento de grandes modelos requer uma grande quantidade de dados de alta qualidade, e os dados são considerados uma das principais forças competitivas das empresas de grandes modelos do futuro. A contabilidade e a negociação de dados enfrentam muitos desafios, como direitos de propriedade e gerenciamento de segurança.